Embodied-BenchForge: A Closed-Loop Agentic Workflow for Embodied Benchmark Construction
Embodied-BenchForge：闭环Agent工作流构建具身评测基准
🧭 Agent工作流 · 基准构建自动验证修复
QiYuan Lab · University of Electronic Science and Technology of China · Beijing University of Posts and Telecommunications · Northeastern University · Beihang University
提出闭环基准合成框架，用产物依赖图与需求引导验证修复，自动构建可区分的具身评测基准
📌 工作参考价值（4 点）
- 产物依赖图 + 局部重执行：在长链路生成流水线（如评测数据合成、商品描述多步生成）中维护中间产物依赖，失败时根据 provenance 只重跑受影响节点，避免全量重建，显著节省成本与时间。
- 需求引导的逐级验证契约：为每个中间产物定义可检查的 schema/领域约束，在传入下游前自动验证，防止局部错误传播。可以直接迁移到 RAG 的文档切分、query 改写、素材标注等环节。
- 可复用技能编排：把类型化技能组合成可执行工作流，跨任务复用同一技能库，适合搭建电商场景下的 Agent 工作流（如选品-文案-投放链路），降低重复开发。
- 闭环验证-修复循环：生成后自动评估并触发修复，能提升生成式推荐中 Semantic ID 或商品描述等内容的可用率，可作为数据质量飞轮。